跳到主要内容

RDT-1B:双臂扩散基础模型

论文:RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation(清华 TSAIL 组,ICLR 2025)。RDT 想解决的问题是双臂精细操作。市面上大多数 VLA(RT-2、OpenVLA、Octo)都是单臂数据训练的,把它们直接用到双臂任务上表现很差——双臂需要两只手协调,动作维度翻倍,多模态问题也更严重。RDT 的思路是:用扩散作为动作头,但把去噪网络从 MLP 换成 DiT(Diffusion Transformer),把参数量扩到 1.2B,让扩散模型自己承担 VLA 的大部分容量,而不是像 Octo 那样把主要容量放在 VLM 主干上、扩散头只有 3 层 MLP。

1. 双臂为什么比单臂难​

先想清楚双臂到底难在哪。

单臂 6-DOF 加夹爪是 7 维动作,双臂就是 14 维。看起来只是维度翻倍,但问题不是维度——真正麻烦的是两只手动作之间的强耦合:折衣服时左手压住领子右手翻过来,两只手时刻要对齐;穿针的时候一只手拿针另一只手拿线,两个末端的位置精度加起来必须在毫米级。

单峰高斯回归(MSE)在双臂上失败得比单臂更彻底。同一场景下"左手先动"和"右手先动"往往都是合理策略,MSE 学到的会是"两只手一起动一半",物理上直接跟自己撞在一起。所以双臂几乎强制要用能建模多模态分布的动作头——扩散或流匹配。

第二个问题是数据。单臂数据多(Open X-Embodiment 90 万条以上),双臂数据少(RDT 时点全网可用双臂示范约 6000 条 ALOHA 级别的高质量数据)。要用少量双臂数据训一个大模型,必须先用大量单臂数据做预训练。这就引出 RDT 的第一个技术难点。

2. 异构机器人数据的统一化​

不同机器人的动作空间格式完全不一样。UR5 是 6 关节 + 夹爪,Franka 是 7 关节 + 夹爪,ALOHA 是 2×6 关节 + 2 夹爪,还有些平台带底盘。RDT 要把所有这些数据混在一起训,就得设计一个统一动作空间。

RDT 的做法叫 physically interpretable unified action space。核心思路是把动作分解成几组具有明确物理含义的字段:

[左手 EEF 位姿]  [左手 EEF 速度]  [左手关节位置]  [左手关节速度]  [左手夹爪]
[右手 EEF 位姿] [右手 EEF 速度] [右手关节位置] [右手关节速度] [右手夹爪]
[底盘位姿] [底盘速度]

一共 128 维,覆盖了所有平台可能用到的字段。对特定机器人来说,大部分维度是不存在的(比如单臂机器人的"右手"字段全部置零),用一个 mask 告诉模型哪些字段有效。

这样做的好处是语义一致:所有平台的"左手 EEF x 位置"都在同一个字段里,模型看到的表示是稳定的。相比之下 OpenVLA 只是把不同平台的动作简单填充到 7 维,UR5 的第 5 维和 Franka 的第 5 维语义不一定对应。

代价是稀疏:128 维里对单臂平台可能只有 20 维有值,其余全是 0。作者用 mask 显式告诉模型哪些维度参与 loss,避免在无效维度上算梯度。

3. 架构:DiT 做动作扩散​

RDT 有 1.2B 参数,分成三块。

视觉编码器:SigLIP,冻结。多摄像头输入(3 路),每路输出 patch token 拼在一起。

语言编码器:T5-XXL,冻结。为什么用 T5-XXL 而不是 Llama?T5 是 encoder-decoder,encoder 输出对文本每个 token 都保留了双向上下文,对指令理解更充分。RDT 只用 T5 的 encoder 部分,取 4B 参数。

动作扩散网络(DiT):这是 RDT 的主体,约 800M 参数。DiT 是 Diffusion Transformer(Peebles & Xie 2023)的架构,本来是给图像扩散用的,RDT 把它搬到动作扩散上。

DiT 跟标准 Transformer 的差别主要在条件注入方式:

  • 标准 Transformer 里条件(比如类别标签)通常拼在输入序列前面
  • DiT 用 adaLN-Zero:把条件通过一个 MLP 输出 γ,β\gamma, \beta 和一个"门控"标量 α\alpha,逐层对残差流做仿射变换和缩放

DiT-Block(x,c)=x+α⋅γ⊙Attn(LN(x))+β\text{DiT-Block}(x, c) = x + \alpha \cdot \gamma \odot \text{Attn}(\text{LN}(x)) + \beta

adaLN-Zero 的好处是训练初始化时 α=0\alpha = 0,等于让残差分支从"完全不生效"开始学,训练更稳。这对 1B 级模型很重要——从零训 DiT 稳定性差,adaLN-Zero 是必要的技巧。

RDT 的 DiT 有 28 层,隐藏维 2048,16 头注意力。视觉和语言 token 通过交叉注意力注入,噪声动作块 + 时间步 τ\tau 通过 adaLN-Zero 注入。

4. 训练​

扩散目标:标准 DDPM,噪声预测

L=E∥ϵ−ϵθ(Ak,o,k)∥2\mathcal{L} = \mathbb{E}\left\|\epsilon - \epsilon_\theta(\mathbf{A}^k, \mathbf{o}, k)\right\|^2

100 步 DDPM 训练,推断时用 5 步 DPM-Solver++(比 DDIM 更快的求解器)。

两阶段训练:

  1. 预训练:46 个数据集混合,约 100 万条轨迹,覆盖 UR5、Franka、Kuka、ALOHA、xArm 等多种平台。批大小 8192,训 100 万步,用 48× H100。
  2. 微调:6000 条 ALOHA 双臂示范(作者自采),批大小 128,训 3 万步,用 8× H100。

微调阶段有一个技巧:把预训练权重的动作头保留,只微调 DiT 里对双臂动作维度相关的参数。作者发现直接全量微调容易过拟合到 6000 条上、丢掉预训练的泛化能力。

5. 实验结果​

双臂 ALOHA 平台,6000 条微调数据​

任务RDT-1BDiffusion PolicyACT
倒水78%45%30%
折毛巾65%20%15%
装订三孔纸52%8%5%
穿针33%0%0%

跟 Diffusion Policy 和 ACT 相比,越难的任务差距越大。穿针这种亚毫米任务传统方法完全做不了,RDT 也只有 33%,但至少能完成。

消融:预训练贡献​

配置平均成功率
从零训(只用 6000 条 ALOHA)21%
预训练 + 微调57%

预训练贡献 +36 分。这是"用大规模异构数据预训练,再用少量目标平台数据微调"这条路的又一次验证。

零样本泛化​

在 5 个训练时没见过的物体上测:

方法平均成功率
Diffusion Policy5%
Octo12%
RDT-1B56%

6. 局限​

RDT 的动作维度 128 维稀疏化在参数效率上不高——大部分平台在推断时 100+ 维都是 0,但模型仍要计算它们的注意力。作者也承认这个设计换来的是"训练时能跨平台混合",但推断时确实浪费。

DiT 训练需要 adaLN-Zero、DPM-Solver++ 这些扩散模型的特殊技巧,工程门槛比 OpenVLA 那种"就是标准 Transformer 自回归"的方案高不少。

微调数据只有 6000 条 ALOHA,覆盖的任务分布还比较窄。RDT 在自采数据上表现好,跨到其他实验室的双臂平台上是否还能保持这个成功率,论文没有验证。

代码和权重见 thu-ml/RoboticsDiffusionTransformer。

7. RDT 在扩散策略谱系里的位置​

从 Diffusion Policy 到 Octo 再到 RDT,扩散动作头的容量分配一直在变:

模型视觉主干语言编码扩散网络总参数
Diffusion Policy从零 ResNet-18无1D CNN,10M~50M
Octo从零 patch CNNT5-base 冻结3 层 MLP,10M93M
RDT-1BSigLIP 冻结T5-XXL 冻结DiT-28 层,800M1.2B

Diffusion Policy 时期扩散头很小,视觉主干也很小,一切从零训。Octo 加了预训练语言编码器但扩散头仍很轻。RDT 把大部分容量放到扩散网络里,视觉和语言都用冻结的预训练模型。这条路的假设是动作预测本身比视觉理解需要更多容量——尤其在双臂高维空间里。